参数估计

名词解释

• 参数估计

参数估计

参数估计有点估计(point estimation)和区间估计(interval estimation)两种。

点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。
例如，设一批产品的废品率为θ。为估计θ，从这批产品中随机地抽出n个作检查，以X记其中的废品个数，用X/n估计θ，这就是一个点估计。

• 点估计: 一般就是要找概率密度曲线上值最大的那个点
• 区间估计: 则要寻找该曲线上满足某种条件的一个曲线段

点估计

设总体X的分布函数的形式已知，但它的一个或多个参数未知，借助于总体X的一个样本估计总体未知参数的值的问题成为参数的点估计问题。

点估计常用的方法有：

• 矩估计法。用样本矩估计总体矩，如用样本均值估计总体均值。
• 最大似然估计(MLE)。于1912年由英国统计学家R.A.费希尔提出，用来求一个样本集的相关概率密度函数的参数。
• 最大后验估计(MAP): 是点估计，是因为Max，要的是一个点而不是区间。但是又属于贝叶斯估计吧？
• 最小二乘法。主要用于线性统计模型中的参数估计问题。
• 贝叶斯估计法。基于贝叶斯学派(见贝叶斯统计)的观点而提出的估计法。

最小二乘法，跟其他三种什么关系？是并列关系吗？

贝叶斯估计是区间估计吧？

为什么说正态分布的矩估计跟极大似然估计相等呢？

在矩估计中，我们的一阶原点矩就是期望，二阶中心距就是方差。也就是说，样本均值（一阶样本原点矩）就可以直接作为模型的均值。方差亦然。而通过极大似然的方法，让似然函数导数为0直接求解，最终会发现模型参数的均值就是一阶样本原点矩，方差亦然。

能够出现这样的情况，只是恰好因为正态分布的一个有趣的性质：模型的参数（均值和方差）直接就是样本矩（一阶样本原点矩和二阶样本中心距）

疑问

与 EM算法，梯度下降法，关系。

区间估计

区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。

求置信区间常用的三种方法：

• 利用已知的抽样分布。
• 利用区间估计与假设检验的联系。（请参考几种常见的参数估计）
• 利用大样本理论。

贝叶斯区间估计呢？

疑问：

• 区间估计一般用不着吧？

参数估计的效果评估

可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类：一类是小样本准则，即在样本大小固定时的优良性准则；另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。最重要的小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性准则，最小化最大准则，最优同变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等。

无偏估计 VS 有偏估计